#ifndef TOKENIZER_H_
#define TOKENIZER_H_

#include <iostream>
using namespace std;

enum tipoToken {
	IDENTIFICADOR, RESERVADA, SIMBOLO_COMPOSTO, SIMBOLO_ESPECIAL, BOOLEANO, INTEIRO, ERRO
};

class Tokenizer {
public:
	Tokenizer();
	Tokenizer(string, tipoToken, int, string);
	virtual ~Tokenizer();

	void setConteudo(string);

	int getLinha();
	string getConteudo();
	tipoToken getTipo();
	string tipoToString();
	string getComentario();

private:
	string comentarioToken;
	tipoToken tipo;
	int linhaToken;
	string conteudoToken;

};

#endif /*TOKENIZER_H_*/
